Instruction Capacity: Behavior and Degradation of Language Models under Controlled Load
指令容量:受控负载下语言模型的行为与退化
🧭 指令跟随能力评测 · 容量度量
Independent researcher
用原子替换规则构建负载度量,测出 GPT-4o mini 在 95% 正确率下约 37-38 条规则的指令容量
📌 工作参考价值(3 点)
- 在电商 Agent 或生成式推荐 prompt 中,多约束(类目、价格、品牌、排序、输出格式)本质是规则负载,可借鉴本工作的「原子规则替换」思想,用离线评测标出模型在指定正确率下的规则容量,作为 prompt 复杂度预算上限。
- 论文给出负载因素(文本长度、词位置、替换密度、规则数、规则编号)与正确率之间平滑可拟合的规律,工程上可建立类似回归曲线,在规则数量增加时预测掉落,提前做 prompt 拆分或分段生成。
- 方法提供开源数据和 passport,可直接改造为业务 prompt 指令负载回归测试,监控不同模型版本/微调后的容量退化,辅助选择基座或 LoRA 融合策略。